LoGRA: Scaling LLM Reinforcement Learning with Low-Rank Gradient Sketches
LoGRA：用低秩梯度草图扩展LLM强化学习
🧭 RL训练内存优化 · 低秩梯度草图 ★ 深度解读
NVIDIA
通过低秩梯度草图压缩RL训练中的梯度和优化器状态，配合预测KL步长控制，大幅降低内存占用
📌 工作参考价值（4 点）
- 资源受限下的RL训练：电商/Agent场景若需对LLM做RL后训练但GPU显存有限，LoGRA能以约45%的内存节省保持性能，可让原本OOM的模型规模落地，适合中小团队。
- 预测KL步长控制：将每次更新的策略偏移限制在预设KL预算内，避免策略突变导致已学行为崩溃。在推荐/Agent在线持续学习中，可将该机制用于策略更新的稳定性控制。
- 梯度压缩与同步复用：LoGRA的压缩更新（低秩因子）可直接用于rollout策略同步，减少通信开销。分布式训练或多智能体协作中可借鉴：用低秩因子传输更新，降低网络负担。
- 注意rank选择：论文消融表明投影秩对性能影响最大（秩4→256提升约3个百分点），而投影矩阵刷新与否影响很小。在实践中应优先调大rank，无需频繁刷新投影。